Tiền thân của quốc lộ 6 là một tuyến đường cổ có từ thời phong kiến, đoạn gần tỉnh thành Hà Nội được gọi một cách dân dã là Đường đi phủ Thanh Oai.

Thời Pháp thuộc, người Pháp đã tiến hành nối dài và cải tạo con đường này thành đường cấp thuộc địa, gọi là đường thuộc địa số 6 (Tiếng Pháp: Route coloniale № 6), nhằm phục vụ việc khai thác tài nguyên ở vùng Tây Bắc. Về mặt kỹ thuật, nó bắt đầu từ ngã tư Sở, ngoại thành Hà Nội.